R^3: Advertisement Compliance Rectification via Group-Relative Experience Extractor and Curriculum Reinforcement
R3：基于组对比经验与课程强化学习的广告合规修正框架
🧭 广告合规改写 · 课程强化学习 · 经验合成 ★ 深度解读
Tencent
用组对比经验提取和两级课程强化学习，在视频广告文案合规修正中平衡审核通过率与语义意图保留
📌 工作参考价值（4 点）
- 合规改写中的Compliance‑Intent权衡：广告或电商文案的自动修正常面临过度修改破坏原有卖点的问题。借鉴R3的课程强化学习设计——先只优化合规率进行充分探索，再引入“编辑距离”“连贯性”等软奖励进行正则化——可有效避免local optimum式的过分保守修改，适用于任何需要平衡“安全”与“创意”的文案生成或改写场景。
- 经验提取缓解数据稀缺：R3的GCEE（Group‑Relative Compliance Experience Extractor）通过对比失败与成功的改写轨迹，让LLM自动总结出具体、可操作的合规经验（如“直接删除‘终极’等词，而非寻找同义词”），并注入prompt。这种方式可迁移到电商搜索query改写、商品标题合规审核等任务中，用低成本的经验归纳替代昂贵的人工标注或规则维护。
- 奖励门控防止reward hacking：在奖励设计上，R3将“连贯性奖励”和“编辑数量奖励”乘以二值合规得分（Rcom），确保在内容仍违规时不激励模型追求次要目标。对于搜索推荐中的多目标RL（如相关性+多样性+收入），这种“主目标门控”机制能有效抑制指标投机。
- 工业级视频修正流水线启示：R3的完整流程（语音识别→文本改写→语音克隆与时长/响度对齐→字幕重新渲染）展示了LLM+音频技术在生产环境中落地全链路文本修正的范例。对于包含视频或直播内容的电商平台，这条流水线可直接用于对违规口播内容进行自动化整改，提升审核效率。